复杂的时变系统通常通过从单个组件的动态中抽象出来,从一开始就构建群体水平的动态模型来研究。然而,在构建群体水平的描述时,很容易忽视每个个体以及它们对大局的贡献。在本文中,我们提出了一种新颖的 Transformer 架构,用于从时变数据中学习,该架构可以构建个体和集体群体动态的描述。我们不是一开始就将所有数据组合到模型中,而是开发了一个可分离的架构,该架构首先对单个时间序列进行操作,然后再将它们传递下去;这会产生置换不变性,可用于在不同大小和顺序的系统之间进行传输。在证明我们的模型可以成功恢复多体系统中的复杂相互作用和动态之后,我们将我们的方法应用于神经系统中的神经元群体。在神经活动数据集上,我们表明我们的模型不仅具有强大的解码性能,而且在跨不同动物记录的迁移中也表现出色,无需任何神经元级对应关系。通过实现可迁移到不同大小和顺序的神经记录的灵活预训练,我们的工作为创建神经解码的基础模型迈出了第一步。
主要关键词
![arXiv:2206.06131v2 [q-bio.NC] 2022 年 10 月 20 日PDF文件第1页](/bimg/d/df701aed376fac3c0a696433318e89151e18ef32.webp)
![arXiv:2206.06131v2 [q-bio.NC] 2022 年 10 月 20 日PDF文件第2页](/bimg/d/df2d7377ddc3be30c9891576d30a514f93bb7504.webp)
![arXiv:2206.06131v2 [q-bio.NC] 2022 年 10 月 20 日PDF文件第3页](/bimg/0/0e9ca35cf8ac94df10fb6781e3af254ddbd2e348.webp)
![arXiv:2206.06131v2 [q-bio.NC] 2022 年 10 月 20 日PDF文件第4页](/bimg/3/3fe87e8b29e6a4fe5563cb7c6ea5d206da581b82.webp)
![arXiv:2206.06131v2 [q-bio.NC] 2022 年 10 月 20 日PDF文件第5页](/bimg/d/d9d2fa1a479b75dbd3787a1c024a2c2aeaa25112.webp)
